일반뉴스 프렌들리AI, SaaS로 제공되는 프렌들리 컨테이너 기능 발표
고객에게 고성능 맞춤형 모델 서빙을 효율적인 비용으로 제공해 프렌들리AI가 자사 서비스 프렌들리 컨테이너의 기능을 SaaS(서비스형 소프트웨어)로 제공하는 ‘프렌들리 데디케이트 엔드포인트(Friendli Dedicated Endpoints)’를 출시했다고 밝혔다. 최근 프렌들리 스위트에 통합된 이 서비스는 컨테이너를 직접 운영하는 부담을 제거해 고객에게 고성능 맞춤형 모델 서빙을 효율적인 비용으로 제공한다. 프렌들리 컨테이너는 현재 스타트업 및 대기업이 자사의 GPU 환경에 대규모 언어 모델(LLM)을 배포하기 위해 사용하는 서비스다. 자체 개발한 프렌들리 엔진 기능을 통해 GPU 비용을 절감한다. 해당 엔진은 GPU에 최적화해 있으며, 이번에 출시된 프렌들리 데디케이트 엔드포인트에도 활용됐다. 프렌들리 엔진 적용으로 라마2, 믹스트랄 모델 등 맞춤형 대형 언어 모델을 서비스하는데 뛰어난 성능을 자랑한다. 프렌들리 데디케이트 엔드포인트는 자동화를 통해 대형 언어 모델을 만들고 서빙하는 프로세스를 간소화했다. 클라우드 기반 환경에서 모델 맞춤형 미세조정부터 모델 배포 및 자동 모니터링까지 생성형 AI모델을 사용하기 위한 중요한 과정을 담당한다. 특장점은 타 솔